Я пытаюсь получить RabbitMQ с Celery и Django на экземпляре EC2, чтобы выполнить довольно простую фоновую обработку. Я запускаю rabbitmq-server 2.5.0 на большом экземпляре EC2. Я загрузил и установил тестовый клиент, следуя инструкциям здесь (в самом низу страницы). Я просто отпустил тестовый скрипт и получил ожидаемый результат: скорость записи: 2350 msg / s, минимальная / средняя / максимальная задержка: 588078478/588352905/588588968 микросекунд скорость записи: 1844 сообщений / с, мин. / сред. / макс. задержка: 588589350/588845737/589195341 микросекунды скорость записи: 1562 msg / s, минимальная / средняя / максимальная задержка: 589182735/589571192/589959071 микросекунд скорость записи: 2080 сообщений / с, мин. / сред. / макс. задержка: 589959557/590284302/590679611 микросекунд Проблема в том, что он потребляет невероятное количество процессора: PID ПОЛЬЗОВАТЕЛЬ PR NI VIRT RES SHR S% CPU% MEM TIME + COMMAND 668 rabbitmq 20 0 618m 506m 2340 S 166 6,8 2: 31,53 луча.smp 1301 убунту 20 0 2142 м 90 м 9128 S 17 1.2 0: 24.75 Java Раньше я тестировал микро-экземпляр, и он полностью потреблял все ресурсы экземпляра. Этого следовало ожидать? Я делаю что-то неправильно? Благодарю. Редактировать: Настоящая причина этого поста заключалась в том, что celerybeat некоторое время работал нормально, а затем внезапно потреблял все ресурсы в системе. Я установил инструменты управления rabbitmq и исследовал, как создаются очереди из сельдерея и из набора тестов rabbitmq. Мне кажется, сельдерей осиротел эти очереди и никуда не денутся. Вот очередь, созданная набором тестов. Создается одна очередь, и все сообщения попадают в нее и выходят: Celerybeat создает новую очередь при каждом запуске задачи: Он устанавливает для параметра автоудаления значение true, но я не совсем уверен, когда эти очереди будут удалены. Кажется, они просто медленно накапливаются и съедают ресурсы. Есть у кого-нибудь идеи? Благодарю.
2021-01-29 08:18:15
Хорошо, я разобрался. Вот соответствующая часть документации: http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend Старые результаты не будут очищены автоматически, поэтому вы должны обязательно использовать результаты, иначе количество очередей в конечном итоге выйдет из-под контроля. Если вы используете RabbitMQ 2.1.1 или выше, вы можете воспользоваться аргументом x-expires для очередей, который истечет срок действия очередей по истечении определенного времени после того, как они не будут использоваться. Срок действия очереди может быть установлен (в секундах) с помощью параметра CELERY_AMQP_TASK_RESULT_EXPIRES (по умолчанию не включен). | Чтобы добавить к решению Эрика Коннера его собственную проблему, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices заявляет: Игнорируйте нежелательные результаты Если вас не волнуют результаты задачи, обязательно установите параметр ignore_result, так как сохранение результатов тратит время и ресурсы. @ app.task (ignore_result = True) def mytask (…): что нибудь() Результаты можно даже отключить глобально с помощью параметра CELERY_IGNORE_RESULT. Это, наряду с ответом Эрика, вероятно, является минимальным количеством лучших практик для управления вашими результатами. Если вам не нужна серверная часть результатов, установите CELERY_IGNORE_RESULT или вообще не устанавливайте серверную часть результатов. Если вам действительно нужен бэкэнд результатов, установите CELERY_AMQP_TASK_RESULT_EXPIRES для защиты от накопления неиспользуемых результатов. Если вам это не нужно для определенного приложения, установите локальное игнорирование, как указано выше. | Твой ответ StackExchange.ifUsing ("редактор", function () { StackExchange.using ("externalEditor", function () { StackExchange.using ("сниппеты", function () { StackExchange.snippets.init (); }); }); }, "фрагменты кода"); StackExchange.ready (функция () { var channelOptions = { теги: "" .split (""), id: "1" }; initTagRenderer ("". split (""), "" .split (""), channelOptions); StackExchange.using ("externalEditor", function () { // Нужно запускать редактор после сниппетов, если сниппеты включены if (StackExchange.settings.snippets.snippetsEnabled) { StackExchange.using ("сниппеты", function () { createEditor (); }); } else { createEditor (); } }); function createEditor () { StackExchange.prepareEditor ({ useStacksEditor: ложь, heartbeatType: 'ответ', autoActivateHeartbeat: ложь, convertImagesToLinks: правда, noModals: правда, showLowRepImageUploadWarning: true, РепутацияToPostImages: 10, bindNavPrevention: правда, постфикс: "", imageUploader: { brandingHtml: "На основе \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.725623.40716284,61182C47.4335 4.61182 46.725623.4623.68 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419954.037.048.037.048.037.048.037.048.28.048.0 148.048.0 148.048.0 148.048.0 148.48.98.0 148.48.95.48.0 148.048.0 37.048.0 37.048.0 37.048.0 37.0 48.0 48.48.0 148.048.0 148.48.0 148.48.0 148.048.0 34.048.0 37.048.0 370.48.0 148.048.0 148.48.0 148.48.0 148.48.94.0 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5454.595 1045835.820 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/> \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ " = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66233C28.4833 4.66231 29.4502 4.66233C28.41087C 4.58.4833 4.6623.74.9502 4.66231C28.40334.6554.4502 4.66231C28.40337454.659904.58.40334.65 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.834.13011228425.2834.2837.132132834.28342 28.1161 12.7799 28.121 12.8343.130132425.234.27.28 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6317224.97.066 7327249249 7329249 7329249 7667 7324249 7.63 7329 24.97.0 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.80829. 1362.235.29 Cpath. 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.6281431 8,5327804 4,62866,56.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.915716.9811416.9511.40716.915716.98453 16.911365C 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400 \ u3 \ u3 \ u3 с / а> ", contentPolicyHtml: «Вклад пользователей под лицензией \ u003ca href =» https: //stackoverflow.com/help/licensing «\ u003ecc by-sa \ u003c / a> \ u003ca href =» https://stackoverflow.com / legal / content-policy \ "> (политика содержимого) \ u003c / a>", allowUrls: true }, onDemand: правда, discardSelector: ".discard-answer" , немедленноShowMarkdownHelp: true, enableTables: true, enableSnippets: true }); } }); Спасибо за ответ на Stack Overflow! Обязательно ответьте на вопрос. Сообщите подробности и поделитесь своим исследованием! Но избегайте… Просить о помощи, разъяснениях или отвечать на другие ответы. Делать заявления, основанные на мнении; Подкрепите их рекомендациями или личным опытом. Чтобы узнать больше, ознакомьтесь с нашими советами по написанию отличных ответов. Черновик сохранен Черновик отклонен Зарегистрируйтесь или войдите под своим ником StackExchange.ready (функция () { StackExchange.helpers.onClickDraftSave ('# ссылка для входа'); }); Зарегистрируйтесь с помощью Google Зарегистрируйтесь через Facebook Зарегистрируйтесь, используя электронную почту и пароль Разместить Опубликовать как гость имя Эл. адрес Обязательно, но не отображается StackExchange.ready ( function () { StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-consuming -tons-of-cpu% 23new-answer', ' question_page '); } ); Опубликовать как гость имя Эл. адрес Обязательно, но не отображается Разместите свой ответ Отменить Нажимая «Опубликовать ответ», вы соглашаетесь с нашими условиями обслуживания, политикой конфиденциальности и политикой файлов cookie. Не тот ответ, который вы ищете? Просмотрите другие вопросы с меткой django rabbitmq celery или задайте свой вопрос.